Podle legendy se koncem 9. stol. usídlil v jeskyni pod skálou poustevník Ivan, po jehož smrti zde nechal kníže Bořivoj postavit kapličku. Tu od 11. století spravovali benediktini z Ostrovského kláštera. V roce 1310 zde bylo zřízeno proboštství a po dobytí a zničení Ostrovského kláštera husity se přeživší mniši přestěhovali do Sv. Jana. V roce 1661 byl vystavěn kostel sv. Jana Křtitele. Zdejší klášter byl dokončen v roce 1731, ale již v roce 1785 byl císařem Josefem II. zrušen. Majetek byl rozprodán a postupně jej vlastnil hrabě Sweerts-Spork, rytíř Joachim ze Schirdingu a Bergerové. V letech 1914-1942 zde byl učitelský ústav a za komunistického režimu policejní škola.